Modality Maturity Index: A benchmark for assessing multimodal capabilities of omni models
模态成熟度指数：评估全能模型多模态能力的基准
🧭 多模态 LLM 评估基准
Meta Superintelligence Labs
提出 MMI 基准和模态存在性得分 MPS，发现前沿多模态模型输出模态存在率仅 15.6-34.9
📌 工作参考价值（4 点）
- 在多模态 Agent 评估中引入「模态存在性得分」：先测量模型是否生成所需输出模态（图片/表格/音频等），再评估内容质量，可在工程链路早期暴露模态缺失问题，避免在不存在的内容上浪费人工评分。
- 对多模态生成任务，采用人工撰写每个输出模态的 rubric，再由 LLM judge 打分；论文显示与 rubric-blind 人类标注一致性约 70.8%，可作为电商导购/客服多模态输出评估的自动化基线，但需留意 Scott's π 仅 0.41，不能完全替代人工。
- 设计评测集时要求 prompt 自包含、明确期望的输出模态组合，可用于构建电商场景下多模态商品推荐、广告创意生成、客服回复的 benchmark；尤其适合评估模型是否按指令返回「商品图+文字说明」等组合。
- 当前前沿模型多模态输出模态存在性低，提示实际部署 RAG/Agent 系统时，不应依赖模型自主决定输出模态，而应在 prompt 或后处理中显式约束输出格式，例如强制返回图片、表格或语音。